Methods to integrate a language model with semantic information for a word prediction component

Most current word prediction systems make use of n-gram language models (LM) to estimate the probability of the following word in a phrase. In the past years there have been many attempts to enrich such language models with further syntactic or semantic information. We want to explore the predictive powers of Latent Semantic Analysis (LSA), a method that has been shown to provide reliable information on long-distance semantic dependencies between words in a context. We present and evaluate here several methods that integrate LSA-based information with a standard language model: a semantic cache, partial reranking, and different forms of interpolation. We found that all methods show significant improvements, compared to the 4-gram baseline, and most of them to a simple cache model as well.Comment: 10 pages ; EMNLP'2007 Conference (Prague

Système Sibylle d'aide à la communication pour personnes handicapées : Modèle linguistique et interface utilisateur

Atelier "Reconstruire la langue dans les communications alternatives et augmentées"International audienceCet article est consacré à une description complète du système SIBYLLE d'aide à la communication qui est développé conjointement par les laboratoires LI et VALORIA. Cet article décrit à la fois le module de prédiction linguistique qui repose sur des modèles de langage avancés, et l'interface utilisateur qui a été développée pour prendre en compte les besoins réels des utilisateurs tels qu ils ont été définis avec le centre de rééducation fonctionnelle de Kerpape. Les performances du système sont présentées, de même que l intégration de SIBYLLE dans le projet francophone ESACIMC d analyse des usages réels des communicateurs

Adaptive Wortprädiktion und ihre Anwendung in einer Kommunikationshilfe

This thesis investigates the capacities of adaptive methods for word prediction. We present and evaluate several adaptation methods: First, we consider strategies enabling to adapt to the lexical and syntactic preferences of the user of an AAC system. Here we investigate the cache model, an auto-adaptive user lexicon and the dynamic user model (DUM), which integrates every input of the user. The second class of methods aims to adapt to the semantic context. Here we focus in particular on Latent Semantic Analysis (LSA), a vectorial model establishing semantic similarity from distributional properties. In the last part an assistive communication system is presented that implements the previously investigated adaptation methods. After a description of the user interface we report results from the application of this system in a rehabilitation center.Ce travail étudie les capacités de méthodes d’adaptation pour la prédiction de mots. Le premier groupe de méthodes traite de l’adaptation aux préférences lexicales et syntaxiques de l’utilisateur d’un système de communication assistée. Au sein de ce groupe de méthodes, nous avons étudié le modèle cache, le lexique auto-adaptatif et le modèle d’utilisateur dynamique (MUD), intégrant toute saisie de l’utilisateur. Le deuxième groupe de méthodes rassemble des approches qui ont pour objectif d’exploiter le contexte sémantique. Dans ce contexte, nous avons en particulier étudié l’Analyse Sémantique Latente (LSA), un modèle vectoriel qui se base sur les propriétés distributionnelles. Dans la dernière partie nous présentons un système d’aide à la communication, dans lequel nous avons implémenté les méthodes d’adaptation. Après une description de l’interface utilisateur nous avons exposé quelques expériences réalisées avec ce système, qui est utilisé dans un centre de rééducation fonctionnelle

Prédiction de mots adaptative pour l'aide à la communication pour personnes handicapées

Ce travail étudie les capacités de méthodes d’adaptation pour la prédiction de mots. Le premier groupe de méthodes traite de l’adaptation aux préférences lexicales et syntaxiques de l’utilisateur d’un système de communication assistée. Au sein de ce groupe de méthodes, nous avons étudié le modèle cache, le lexique auto-adaptatif et le modèle d’utilisateur dynamique (MUD), intégrant toute saisie de l’utilisateur. Le deuxième groupe de méthodes rassemble des approches qui ont pour objectif d’exploiter le contexte sémantique. Dans ce contexte, nous avons en particulier étudié l’Analyse Sémantique Latente (LSA), un modèle vectoriel qui se base sur les propriétés distributionnelles. Dans la dernière partie nous présentons un système d’aide à la communication, dans lequel nous avons implémenté les méthodes d’adaptation. Après une description de l’interface utilisateur nous avons exposé quelques expériences réalisées avec ce système, qui est utilisé dans un centre de rééducation fonctionnelle.This thesis investigates the capacities of adaptive methods for word prediction. We present and evaluate several adaptation methods: First, we consider strategies enabling to adapt to the lexical and syntactic preferences of the user of an AAC system. Here we investigate the cache model, an auto-adaptive user lexicon and the dynamic user model (DUM), which integrates every input of the user. The second class of methods aims to adapt to the semantic context. Here we focus in particular on Latent Semantic Analysis (LSA), a vectorial model establishing semantic similarity from distributional properties. In the last part an assistive communication system is presented that implements the previously investigated adaptation methods. After a description of the user interface we report results from the application of this system in a rehabilitation center.Die vorliegende Arbeit untersucht die Kapazitäten adaptiver Methoden für die Wortprädiktion, einer zentralen Strategie im Kontext der unterstützenden Kommunikation (UK) für sprach- und bewegungsbehinderte Menschen. Zunächst wird eine allgemeine Einführung in die Forschungsgebiete der UK einerseits und derWortprädiktion andererseits gegeben. Dabei wird insbesondere Bezug genommen auf stochastische Sprachmodelle, welche sich für die Prädiktion als sehr geeignet erwiesen haben. Die Untersuchung adaptiver Methoden erfolgt daraufhin entlang zweier Achsen: In einem ersten Abschnitt werden die Verfahren betrachtet, welche die Adaption an die spezifische Lexik und Syntax des Benutzers eines UK-Systems erlauben. Dabei werden insbesondere das sogenannte Cache-Modell, ein selbstlernendes Benutzerlexikon sowie das dynamische Benutzermodell (dynamic user model, DUM) diskutiert. Auf der zweiten Achse werden nun Modelle untersucht, welche auf eine Adaption der Wortprädiktion an den semantischen bzw. topikalischen Kontext abzielen. Hier rückt vor allem eine Methode in den Mittelpunkt: die Latent-Semantische Analyse (LSA), ein vektorraumbasiertes Verfahren, welches semantische Ähnlichkeit durch distributionelle Eigenschaften lexikalischer Einheiten etabliert. Als schwierig erweist sich jedoch die Integration der LSA-basierten semantischen Information in das allgemeine Prädiktionsmodell, weshalb hier verschiedene Integrationsmöglichkeiten untersucht werden. Im letzten Teil dieser Arbeit wird ein UK-System vorgestellt, welches die erfolgreichsten der zuvor betrachteten Adaptionsverfahren implementiert. Nach einer Präsentation der verschiedenen kommunikationsfördernden Komponenten wird von der Anwendung dieses Systems berichtet, welches seit mehreren Jahren in einem Rehabilitationszentrum eingesetzt wird

Reverse access via an index based on the notion of association. What do vector-based approaches offer?

International audienceno abstrac

Adaptation de modèles de langage à l'utilisateur et au registre de langage : expérimentations dans le domaine de l'aide au handicap

International audienceLes modèles markoviens de langage sont très dépendants des données d'entraînement sur lesquels ils sont appris. Cette dépendance, qui rend difficile l'interprétation des performances, a surtout un fort impact sur l'adaptation à chaque utilisateur de ces modèles. Cette question a déjà été largement étudiée par le passé. En nous appuyant sur un domaine d'application spécifique (prédiction de texte pour l'aide à la communication pour personnes handicapées), nous voudrions l'étendre à la problématique de l'influence du registre de langage. En considérant des corpus relevant de cinq genres différents, nous avons étudié la réduction de cette influence par trois modèles adaptatifs différents : (a) un modèle cache classique favorisant les n derniers mots rencontrés, (b) l'intégration au modèle d'un dictionnaire dynamique de l'utilisateur et enfin (c) un modèle de langage interpolé combinant un modèle général et un modèle utilisateur mis à jour dynamiquement au fil des saisies. Cette évaluation porte un système de prédiction de texte basé sur un modèle trigramme

Reverse access via an index based on the notion of association. What do vector-based approaches offer?

International audienceno abstrac

Modèle adaptatif pour la prédiction de mots. Adaptation à l'utilisateur et au contexte dans le cadre de la communication assistée pour personnes handicapées

International audienceCet article présente SIBYSEM, un moteur de prédiction utilisé pour la complétion de mots dans le système de communication assistée SIBYLLE. SIBYSEM est un modèle adaptatif qui prend en compte les saisies de l'utilisateur et propose une adaptation sémantique au champ sémantique courant du discours basée sur l'analyse sémantique latente. Dans cet article, nous présentons en détail le module de prédiction ainsi que le système Sibylle dans lequel il s'intègre. De nombreuses expérimentations rendent compte des capacités d'adaptation du modèle, que ce soit pour des tâches de prédiction en général ou dans le cadre applicatif spécifique de l'aide à la communication en particulier. Nous rendons compte également de sept années d'expérience acquise avec SIBYLLE au cours de sept années d'utilisation quotidienne au sein du centre de rééducation de Kerpape